我们在做embedding的时候，通常会先做下tokenizer，然后再做word embedding，我们下面看看怎么来生成tokenizer。

1. 可以先搞一批raw data，可以从网上爬下来，也可以从已有的collection下载。

2. 做下分词，中文可以用结巴，英文用空格和特殊符号

3. 分词生成的terms，我们保存下来，每句话可以保存一行，每行多个terms，用空格分隔

4. 用分词的term生成tokenizer，并做下padding。我们这里只关注这个部分，其他部分可以参考其他的。

5. 生成word embedding

下面我们看下tokenizer怎么来做：

keras提供了tokenizer包可以直接用来生产tokenizer，我们下面来看下怎么用，直接上代码。